通常數學不耐症
是因為公式中含有大量的符號
要克服這個
我認為最好的方法就是實例練習

有一天，大象姊姊在路上遇到了白兔弟弟
大象姊姊：白兔弟弟，近來好嗎
白兔弟弟：好呀
然後白兔弟弟就不見了

有一天，白兔妹妹在路上遇到了大象哥哥
白兔妹妹：大象哥哥，近來好嗎
大象哥哥：好呀
然後白兔妹妹就爆了

我們來分析一下

ㄐㄧㄣˋ來好嗎	圖示	機率	資訊量
近來好嗎		0.999	低
進來好嗎		0.001	高

當越低機率的事件發生時
我們所能獲得的資訊量就越高
奇怪的知識越能增加 :-)

好啦...來練習計算好了...
假設明天的天氣預報為

事件	機率	資訊量
Sunny	0.6	0.518
Cloudy	0.3	1.204
Rainy	0.1	2.3026

則從這篇預報中
我們所獲得的資訊量期望值為

繼續計算下去可得

這就是我們在這個預報(系統)中可得的「信息熵」

我們來試另外一天預報

事件	機率	資訊量
Sunny	0.4	0.9163
Cloudy	0.3	1.204
Rainy	0.3	1.204

則從這篇預報中
我們所獲得的資訊量期望值為

繼續計算下去可得

這就是我們在這個預報(系統)中可得的「信息熵」

觀察上述兩篇預報
可以看出第二篇預報中對隔天天氣情形更不確定
以至於我們所得到的熵會比第一篇還要高

這也就反映了我們最初所說
「熵」是用來衡量一個系統的不確定性

希望舉例能對各位有幫助~
我覺得我的寫法及舉例還有極大空間可改進~XD
最後附上我覺得寫的很不錯的網站連結
剖析深度學習 (2)